尽管最近在不同的应用程序方案中广泛部署了3D点云分类，但它仍然非常容易受到对抗攻击的影响。面对对抗性攻击，这增加了对3D模型的强大训练的重要性。基于我们对现有对抗性攻击的性能的分析，在输入数据的中和高频组件中发现了更多的对抗性扰动。因此，通过抑制训练阶段的高频含量，改善了针对对抗性示例的模型。实验表明，提出的防御方法降低了对PointNet，PointNet ++和DGCNN模型的六次攻击的成功率。特别是，与最先进的方法相比，Drop100攻击的平均分类精度在Drop100攻击中平均提高3.8％，而Drop200攻击的平均分类精度提高了3.8％。与其他可用方法相比，该方法还提高了原始数据集的模型精度。
translated by 谷歌翻译
自我监督学习（SSL）是一个新的范式，用于学习判别性表示没有标记的数据，并且与受监督的对手相比，已经达到了可比甚至最新的结果。对比度学习（CL）是SSL中最著名的方法之一，试图学习一般性的信息表示数据。 CL方法主要是针对仅使用单个传感器模态的计算机视觉和自然语言处理应用程序开发的。但是，大多数普遍的计算应用程序都从各种不同的传感器模式中利用数据。虽然现有的CL方法仅限于从一个或两个数据源学习，但我们提出了可可（Crockoa）（交叉模态对比度学习），这是一种自我监督的模型，该模型采用新颖的目标函数来通过计算多功能器数据来学习质量表示形式不同的数据方式，并最大程度地减少了无关实例之间的相似性。我们评估可可对八个最近引入最先进的自我监督模型的有效性，以及五个公共数据集中的两个受监督的基线。我们表明，可可与所有其他方法相比，可可的分类表现出色。同样，可可比其他可用标记数据的十分之一的基线（包括完全监督的模型）的标签高得多。
translated by 谷歌翻译
最近，自我监督的表示学习（SSRL）在计算机视觉，语音，自然语言处理（NLP）以及最近的其他类型的模式（包括传感器的时间序列）中引起了很多关注。自我监督学习的普及是由传统模型通常需要大量通知数据进行培训的事实所驱动的。获取带注释的数据可能是一个困难且昂贵的过程。已经引入了自我监督的方法，以通过使用从原始数据自由获得的监督信号对模型进行判别预训练来提高训练数据的效率。与现有的对SSRL的评论不同，该评论旨在以单一模式为重点介绍CV或NLP领域的方法，我们旨在为时间数据提供对多模式自我监督学习方法的首次全面审查。为此，我们1）提供现有SSRL方法的全面分类，2）通过定义SSRL框架的关键组件来引入通用管道，3）根据其目标功能，网络架构和潜在应用程序，潜在的应用程序，潜在的应用程序，比较现有模型， 4）查看每个类别和各种方式中的现有多模式技术。最后，我们提出了现有的弱点和未来的机会。我们认为，我们的工作对使用多模式和/或时间数据的域中SSRL的要求有了一个观点
translated by 谷歌翻译
服务机器人应该能够与非专家用户自然互动，不仅可以帮助他们完成各种任务，还可以接收指导，以解决指导中可能存在的歧义。我们考虑了视觉接地的任务，在这种情况下，代理将对象从拥挤的场景中分离出自然语言描述。现代的整体视觉接地方法通常忽略语言结构，而努力覆盖通用领域，因此很大程度上依靠大型数据集。此外，由于基准和目标域之间的高视觉差异，它们在RGB-D数据集中的传输性能受到了影响。模块化方法将学习与领域建模结合并利用语言的组成性质，以使视觉表示从语言解析中解脱出来，但由于缺乏强大的监督，要么依靠外部解析或以端到端的方式进行训练。在这项工作中，我们试图通过引入一个完全脱钩的模块化框架来解决这些局限性，以构成实体，属性和空间关系的组成视觉基础。我们利用在合成域中生成的丰富场景图表注释，并独立训练每个模块。我们的方法在模拟和两个真实的RGB-D场景数据集中进行了评估。实验结果表明，我们的框架的解耦性可以轻松地与域适应方法相结合，以实现SIMS到现实的视觉识别，从而为机器人应用中的视觉接地提供了数据效率，健壮且可解释的解决方案。
translated by 谷歌翻译
服务机器人越来越多地整合到我们的日常生活中，以帮助我们完成各种任务。在这样的环境中，机器人在环境中工作时经常面临新对象，并且需要以开放式的方式学习它们。此外，此类机器人必须能够识别广泛的对象类别。在本文中，我们基于多种表示形式提出了终生的合奏学习方法，以解决少数弹出的对象识别问题。特别是，我们根据深度表示和手工制作的3D形状描述符形成集合方法。为了促进终身学习，每种方法都配备了一个可立即存储和检索对象信息的内存单元。所提出的模型适用于3D对象类别的数量未固定并且可以随着时间而增长的开放式学习方案。我们已经进行了广泛的实验集，以评估离线方法和开放式场景中提出的方法的性能。出于评估目的，除了真实的对象数据集外，我们还生成了一个大型合成家庭对象数据集，该对象由27000个对象组成。实验结果证明了所提出的方法在在线少数3D对象识别任务中的有效性，以及其在最先进的开放式学习方法上的出色表现。此外，我们的结果表明，虽然合奏学习在离线设置中是适度的好处，但它在终生的几次学习情况下是显着有益的。此外，我们在模拟和现实机器人设置中证明了方法的有效性，在该设置中，机器人从有限的示例中迅速学习了新类别。
translated by 谷歌翻译
机器人经常面临抓住目标对象的情况，但由于其他当前物体阻止了掌握动作。我们提出了一种深入的强化学习方法，以学习掌握和推动政策，以在高度混乱的环境中操纵目标对象以解决这个问题。特别是，提出了双重强化学习模型方法，该方法在处理复杂场景时具有很高的弹性，在模拟环境中使用原始对象平均达到98％的任务完成。为了评估所提出方法的性能，我们在包装对象和一堆对象方案中进行了两组实验集，在模拟中总共进行了1000个测试。实验结果表明，该提出的方法在各种情况下都效果很好，并且表现出了最新的最新方法。演示视频，训练有素的模型和源代码可重复可重复性目的。 https://github.com/kamalnl92/self-superist-learning-for-pushing-and-grasping。
translated by 谷歌翻译
在以人为本的环境中工作的机器人需要知道场景中存在哪种物体，以及如何掌握和操纵不同情况下的各种对象，以帮助人类在日常任务中。因此，对象识别和抓握是此类机器人的两个关键功能。最先进的解决物体识别并将其抓握为两个单独的问题，同时都使用可视输入。此外，在训练阶段之后，机器人的知识是固定的。在这种情况下，如果机器人面临新的对象类别，则必须从划痕中重新培训以结合新信息而无需灾难性干扰。为了解决这个问题，我们提出了一个深入的学习架构，具有增强的存储器能力来处理开放式对象识别和同时抓握。特别地，我们的方法将物体的多视图作为输入，并共同估计像素 - 方向掌握配置以及作为输出的深度和旋转不变表示。然后通过元主动学习技术使用所获得的表示用于开放式对象识别。我们展示了我们掌握从未见过的对象的方法的能力，并在模拟和现实世界中使用非常少数的例子在现场使用很少的例子快速学习新的对象类别。
translated by 谷歌翻译
如今，机器人在我们的日常生活中起着越来越重要的作用。在以人为本的环境中，机器人经常会遇到成堆的对象，包装的项目或孤立的对象。因此，机器人必须能够在各种情况下掌握和操纵不同的物体，以帮助人类进行日常任务。在本文中，我们提出了一种多视图深度学习方法，以处理以人为中心的域中抓住强大的对象。特别是，我们的方法将任意对象的点云作为输入，然后生成给定对象的拼字图。获得的视图最终用于估计每个对象的像素抓握合成。我们使用小对象抓住数据集训练模型端到端，并在模拟和现实世界数据上对其进行测试，而无需进行任何进一步的微调。为了评估所提出方法的性能，我们在三种情况下进行了广泛的实验集，包括孤立的对象，包装的项目和一堆对象。实验结果表明，我们的方法在所有仿真和现实机器人方案中都表现出色，并且能够在各种场景配置中实现新颖对象的可靠闭环抓握。
translated by 谷歌翻译
同时对象识别和姿势估计是机器人安全与人类和环境安全相互作用的两个关键功能。尽管对象识别和姿势估计都使用视觉输入，但大多数最先进的问题将它们作为两个独立的问题解决，因为前者需要视图不变的表示，而对象姿势估计需要一个与观点有关的描述。如今，多视图卷积神经网络（MVCNN）方法显示出最新的分类性能。尽管已广泛探索了MVCNN对象识别，但对多视图对象构成估计方法的研究很少，而同时解决这两个问题的研究更少。 MVCNN方法中虚拟摄像机的姿势通常是预先定义的，从而绑定了这种方法的应用。在本文中，我们提出了一种能够同时处理对象识别和姿势估计的方法。特别是，我们开发了一个深度的对象不合时宜的熵估计模型，能够预测给定3D对象的最佳观点。然后将对象的视图馈送到网络中，以同时预测目标对象的姿势和类别标签。实验结果表明，从此类位置获得的观点足以达到良好的精度得分。此外，我们设计了现实生活中的饮料场景，以证明拟议方法在真正的机器人任务中的运作效果如何。代码可在线获得：github.com/subhadityamukherjee/more_mvcnn
translated by 谷歌翻译